| 中国大学软科排名(Request | 您所在的位置：网站首页 › 中国大学排名爬取代码更新 › 中国大学软科排名(Request |
中国大学软科排名(Request
|
一.Request方式
由于软科大学排名页面的特殊设置，无法通过掌握翻页时页面url的变化规律，可以通过爬取js文件得到所有数据。 接下来开始实践。通过拿到网页js文件，然后通过正则表达式提取出排名信息的方式，将所有大学排名抓取出来。具体步骤如下： (1)右键点击检查（Chrome），来到控制面板，点击network，找到payload.js，双击找到请求头headers，便可以找到请求地址（Request URL）。 需要注意的是爬取的payload.js是包含排名数据的js文件还是包含大学详细信息的js文件，我们可以通过查看js文件即可判断。 可以从js文件看出，此js文件是电子科技大学的详细信息。需要重新在开发者工具找到符合的payload的js文件。 如果网页打开js文件出现乱码，可以在下载Edge浏览的插件。插件链接字符修改插件
查看正确s文件的信息。可以从下图看出湖南省province对应的属性值为‘m’，这个属性可以用来筛选湖南省的软科前10排名的大学。 前期的准备工作结束，直接给兄弟们上代码： import requests import re import pandas as pd #请求目标链接中请求数据 def get_data(url,headers): try: response = requests.get(url,headers=headers) response.encoding = 'utf-8' data = str(response.text)#将获取的数据转换为字符串 except: print('加载数据失败') return data #提取关键信息 def parse_data(data): name = (re.findall('univNameCn:"(.*?)".*?', str(data), re.S))#利用正则表达式提取需要的文本 score = (re.findall('score:(.*?),.*?', str(data), re.S)) province = (re.findall('province:(.*?),.*?', str(data), re.S)) result = [] for i in range(len(name)):#将获取的数据合并 if province[i]=='m': result.append([i+1,name[i],score[i],province[i]]) return result #输出结果 def print_data(detail,num):#num表示需要输出的结果数 tplt = "{0:^10}\t{1:^10}\t{2:^10}" print(tplt.format('排名', '学校名', '得分','地区')) for item in range(num): temp =detail[item] print(tplt.format(temp[0],temp[1],temp[2]),temp[3]) #将获取的结果保存到Excel中 def save_excel(detail,columns): file = pd.DataFrame(detail,columns=columns) #file = pd.DataFrame(detail) #print(file["地区"=='m']) #file=file[file["地区"=='m']] file.head(10).to_csv('湖南软科大学排名.csv',index=False,encoding="utf_8_sig") def main(): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36" } url = 'https://www.shanghairanking.cn/_nuxt/static/1699861510/rankings/bcsr/2023/payload.js' columns = ['排名','学校名称','软科总得分','地区'] row_data = get_data(url,headers) rank = parse_data(row_data) #print_data(rank,591)#输出前300条数据 save_excel(rank,columns) if __name__=="__main__": main()爬取结果： 至此，Request方式按省份爬取结束。 二.BeautifulSoup方式使用Beautiful方式属于定向爬取，可以通过爬取html网页的下的内容定向爬取特定位置的数据。 步骤如下。 1.首先查看网页的源代码，可以看到要定向的页面位置都在,,标签里，通过爬取这三个标签得到所需数据。
2.设计request请求代码和BeautifulSoup查找代码，先查找tbody标签，在查找tr和td。代码如下：
4.打印预期效果。
5.如果需要按省份爬取，将代码中 #if tds[2].text.strip()=='湖南':去掉。 6.BeautifulSoup完整代码 import requests from bs4 import BeautifulSoup import bs4 import pandas as pd def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def fillUnivList(ulist, html): soup = BeautifulSoup(html,"html.parser") for tr in soup.find('tbody').children: if isinstance(tr, bs4.element.Tag): tds = tr('td') #if tds[2].text.strip()=='湖南': ulist.append([tds[0].text.strip(),tds[1].text.strip(),tds[2].text.strip(),tds[4].text.strip()]) def printUnivList(ulist, num): tplt="{0:^10}\t{1:{3}^8}\t{2:^10}" print("{0:^8}\t{1:{3}^8}\t{2:^8}".format("排名","学校名称","总分", chr(12288))) #print(ulist) df = pd.DataFrame(ulist) names=['排名','学校名称','地区','总分'] df.columns=names df.drop(['地区'], axis=1) df.head(10).to_csv("rank.csv", encoding="utf_8_sig") for i in range(num): u = ulist[i] print(tplt.format(u[0], u[1], u[2], chr(12288))) def main(): uinfo = [] url = "https://www.shanghairanking.cn/rankings/bcur/202311" html = getHTMLText(url) fillUnivList(uinfo, html) printUnivList(uinfo, 10) main() 三.总结Request方式和BeautifulSoup方式各有优点，reques方式找js文件耗时，BeautifulSoup需要查看网页源代码，定制爬取方案。BeautifulSoup方式还有一个不足之处，如果网页翻页url不变，就很难爬取多页数据，通常的解决方法是打开开发者工具，查看Header是否有page等响应。
以此次爬取网页来看，没有类似这种响应，所以BeautifulSoup方式只能爬取第一页的数据。当然还可以通过Xpath或自动化测试工具selenium模拟浏览器行为把数据提取出来。 最后，希望对各位读者有帮忙，一键三连哦！
|
【本文地址】